classifier guidance

条件付き拡散モデルのポストトレーニングにおいてこれらをトレードオフする

mode coverage

他の種類の生成モデルにおける低温サンプリングや切り捨てと同じ考え方

Classifier guidanceは、サンプリング時に別途用意した分類モデル(classifier)を使ってラベル通りの画像を生成するように誘導(guidance)する、というものです。

具体的な方法としては、まず、ラベルもインプットとしてDiffusionモデルを学習します。

これでラベルにあった画像の生成が可能になります。

そして、画像生成時にImageNetなどで学習された分類モデルを使用してラベルにあった画像を生成していくように誘導するというものになります。

感覚的には、𝑥𝑡から𝑥𝑡−1に動く方向の平均である𝜇𝜃を、ラベル𝑦の方向∇𝑥𝑡log𝑝𝜙(𝑦|𝑥𝑡)に向けるというものです。